查看原文
其他

​联川云平台的“武林秘籍”

运营部-FC 联川生物 2022-05-21

2019年,走过第10个年头的天猫双11以再次刷新历史记录而落下帷幕,而伴随着这十年购物狂欢节一路走来的除了各大剁手剁脚的网友外,还有云计算这个概念。

在这10年间,云计算从最开始被怀疑“老酒换新瓶”,到如今云计算被视为计算机网络领域的一次颠覆性革命,可谓是飞上枝头。

随着云计算技术的成熟,它快速支撑起了各种大型数据计算的应用请求。高大上的如:地理测绘,图像处理,人工智能,接地气的如:双11等各大购物节,12306购票。真可谓上天入地,无所不能。

而在我们生物测序行业岂能缺席这场革命性盛宴呢?

联川云平台就是借着云计算的能量包装出的应用场景,而我们的神秘组织--云计算中心秉承着快速,弹性,稳定,安全的几大准则,从设立之初就开始了各种调试系统的评估,测试。

还记得我们当时到处调研集群调度系统,尝试寻找适合于我们生物信息计算的高性能计算系统,最后我们综合各方意见,采用了和天河2号超算中心(对,就是截止去年为止还霸占着全宇宙计算性能第一名的天河2号)高度一致的调度系统来进行我们高性能计算调度系统的搭建。

目前已经有数百台(>300)计算节点在云平台后端时刻准备着,而计算节点在运行任务时如有其中一台发生了故障,集群调度系统会快速发现并自动将该节点上的项目进行重新投递,保证项目的顺利进行与交付。

而在数据存储端,我们参考了华为云,阿里云等国内云厂商的做法并结合自身行业高IO、高吞吐的特性,对我们的数据存储策略进行优化,制定了更合理地分层管理与数据存储。

在最前面的计算端,我们采用了最先进的分布式存储文件系统(一级存储)进行热数据的计算与存储,以保证计算节点能迅速访问和交互数据。同时启用多副本冗余备份,保证当每一个存储节点发生故障时都能以毫秒级的速度进行快速切换,保证数据访问地稳定性。

诚然我们采用的这种存储方案策略是非常昂贵的,但是金钱诚可贵,数据价更高,在数据安全面前,这点钱能算啥?(老板千万不要怪我败家咯,因为以客户为中心是我们的理念,在金钱和客户数据之间我会毅然决然地选择客户的)。

当热数据经过了一段时间的存放后慢慢变成了半冷数据,我们数据管理监控系统会自动将这部分半冷数据备份到二级存储内(NAS文件系统)。

而当半冷数据再经过大概半年或一年的充分发酵,数据管理监控系统会将这些已经完全凉透了的冷数据备份到安全性更高的文件系统(三级存储)中去,我们调研并参考了AWS云和腾讯云的做法,采用了磁带存储的方法来进行冷数据的归档存储,理论上能保存数据长达20年之久。

对了,这里面还有一个酷炸了的技能点忘说了。

对于我们生信行业的各大“网管”,大家是否都还记得那些个痛苦安装各种依赖包的日日夜夜?

而这个痛苦经历曾让我一度很排斥集群,因为我需要在每台计算节点安装所有软件的依赖环境,这是疯了吗?我这辈子真的要和这一堆服务器为伴了吗?

后面在和华为云技术大咖(感谢唐老师的热心指导)的聊天过程中让我认识了容器技术,也让我一下子从这些繁琐的装包环境中脱身出来,同时也让我们的高性能计算系统具备了服务器快速部署的能力,真正做到了秒部署,容器技术的应用让我们弹性计算的性能更上了一个台阶,妈妈再也不用担心我的黑眼圈了。

感谢以上所有的黑科技,正是这些黑科技和硬件设备让我们能站在巨人的肩膀上迎接一次次不曾想象过的挑战。

最后,我想说,对各大云厂商而言,双11的战场就是检验他们是否毕业的标准。

而对我们而言,联川云平台就是检验是否能毕业的战场,我想我们准备好了!

联川云平台现已全面开放注册:www.lc-bio.cn。诚邀各位老师上手体验!

 

相关阅读

是谁的小眼睛还没看全新的联川生物云平台

联川生物云平台使用指南【新】

云平台火山图使用指南 | 云课堂(27)

Cytoscape软件使用说明 | 云课堂(26)

单细胞转录组数据分析结果查看软件Loupe-Cell-Browser使用说明 | 云课堂(25)

云平台表格操作-信息提取专栏| 云课堂(24)

热图使用指南(下)| 云课堂(23)

热图使用指南(上)| 云课堂(23)

GO柱状图绘图指南 | 云课堂(22)

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存